Американские инженеры и data-science специалисты создали новую технологию обработки объемного видео. Она может сделать массовым "4D-видео" — видео которые можно смотреть с любой точки пространства.
Технология PackUV упрощает хранение и потоковую передачу объемных видео. Это делает их совместимыми с текущей интернет-инфраструктурой.
Объемное видео создается с помощью синхронизированных камер вокруг сцены. После съемки алгоритмы воссоздают трехмерное пространство. Зритель может менять угол обзора и "перемещаться" внутри сцены.
Эту технологию можно использовать в кино, трансляциях спортивных событий, концертов и VR- средах. Она может стать основой для создания "брейнданса" из киберпанка. И эта разработка более интересна, [чем] у энтузиаста из Казахстана
Главная проблема объемных видео — неоправданно огромный объем данных. Например, 30-минутный ролик может занимать терабайты. Существующие форматы не подходят для стриминговых сервисов, компьютеров и видеоплатформ.
Чтобы решить эту проблему, исследователи разработали систему PackUV. В ее основе лежит метод рендеринга 3D Gaussian Splatting. Он представляет сцену набором "гауссовых пятен". Они кодируют форму, цвет и прозрачность объектов. Новый подход позволяет превратить сложную 3D-сцену в компактное 2D-представление, как глобус на плоской карте.
То есть, простыми словами, объемная сцена кодируется в обычный видеопоток. Его можно хранить и передавать с помощью стандартных кодеков. Исследователи считают, что это приближает технологию к использованию на современных цифровых устройствах.
Еще одна задача — обработка длинных видеосцен. Существующие методы теряют объекты, если они временно исчезают из поля зрения. Например, когда человек закрывает мяч. Команда решила эту проблему: длинное видео разбивается на фрагменты. В начале каждого сегмента анализ изменений проводится заново. Это позволяет отслеживать новые объекты и сложные движения. Новый подход обеспечивает рендеринг сложных сцен до 30 минут без сбоев. Это дольше, чем при использовании аналогичных методов.
Для тестирования технологии специалисты собрали крупнейший набор многоракурсного видео. Его сняли с помощью массива из 50-90 камер. В базе есть сцены с баскетболом, пиклболом, приготовлением еды и работой по дереву.
Исследователи открыли набор данных для научного сообщества. Они также считают, что PackUV совсем скоро найдет применение не только в развлечениях и спорте, но и в промышленности и создании полноценных цифровых двойников.